02. A/B 测试

A/B 测试

A/B 测试用于测试网页的修改效果，测试需进行一场实验，实验中 对照组 为网页旧版本， 实验组 为网页新版本，实验还需选出一个 指标 来衡量每组用户的参与度，然后根据实验结果来判断哪个版本效果更好。从以下假设来看，A/B 测试很像假设检验：

  • 零假设： 新版本不比旧版本好，甚至比旧版本差
  • 对立假设： 新版本比旧版本好

如果我们无法推翻零假设，那得到的实验结果就会暗示我们得保留旧版本；如果我们推翻了零假设，那得到的实验结果就会暗示我们可实现网页改动。通过这些测试，我们可以观察什么样的改动能最大化指标，测试适用的改动类型十分广泛，上到增加元素的大改动，下到颜色小变动都可使用这些测试。

但 A/B 测试也有不足之处。虽然测试能帮你比较两种选择，但无法告诉你你还没想到的选择，在对老用户进行测试时，抗拒改变心理、新奇效应等因素都可能使测试结果出现偏差。

  • 抗拒改变心理： 老用户可能会因为纯粹不喜欢改变而偏爱旧版本，哪怕从长远来看新版本更好。

  • 新奇效应： 老用户可能会觉得变化很新鲜，受变化吸引而偏爱新版本，哪怕从长远看来新版本并无益处。

    关于这些因素，稍后你会得到进一步的了解。

Next Concept